A number of competing hypotheses have been proposed to explain why small-batch Stochastic Gradient Descent (SGD)leads to improved generalization over the full-batch regime, with recent work crediting the implicit regularization of various quantities throughout training. However, to date, empirical evidence assessing the explanatory power of these hypotheses is lacking. In this paper, we conduct an extensive empirical evaluation, focusing on the ability of various theorized mechanisms to close the small-to-large batch generalization gap. Additionally, we characterize how the quantities that SGD has been claimed to (implicitly) regularize change over the course of training. By using micro-batches, i.e. disjoint smaller subsets of each mini-batch, we empirically show that explicitly penalizing the gradient norm or the Fisher Information Matrix trace, averaged over micro-batches, in the large-batch regime recovers small-batch SGD generalization, whereas Jacobian-based regularizations fail to do so. This generalization performance is shown to often be correlated with how well the regularized model's gradient norms resemble those of small-batch SGD. We additionally show that this behavior breaks down as the micro-batch size approaches the batch size. Finally, we note that in this line of inquiry, positive experimental findings on CIFAR10 are often reversed on other datasets like CIFAR100, highlighting the need to test hypotheses on a wider collection of datasets.

Understanding why a model makes certain predictions is crucial when adapting it for real world decision making. LIME is a popular model-agnostic feature attribution method for the tasks of classification and regression. However, the task of learning to rank in information retrieval is more complex in comparison with either classification or regression. In this work, we extend LIME to propose Rank-LIME, a model-agnostic, local, post-hoc linear feature attribution method for the task of learning to rank that generates explanations for ranked lists. We employ novel correlation-based perturbations, differentiable ranking loss functions and introduce new metrics to evaluate ranking based additive feature attribution models. We compare Rank-LIME with a variety of competing systems, with models trained on the MS MARCO datasets and observe that Rank-LIME outperforms existing explanation algorithms in terms of Model Fidelity and Explain-NDCG. With this we propose one of the first algorithms to generate additive feature attributions for explaining ranked lists.

There has been a great deal of recent interest in learning and approximation of functions that can be expressed as expectations of a given nonlinearity with respect to its random internal parameters. Examples of such representations include "infinitely wide" neural nets, where the underlying nonlinearity is given by the activation function of an individual neuron. In this paper, we bring this perspective to function representation by neural stochastic differential equations (SDEs). A neural SDE is an It\^o diffusion process whose drift and diffusion matrix are elements of some parametric families. We show that the ability of a neural SDE to realize nonlinear functions of its initial condition can be related to the problem of optimally steering a certain deterministic dynamical system between two given points in finite time. This auxiliary system is obtained by formally replacing the Brownian motion in the SDE by a deterministic control input. We derive upper and lower bounds on the minimum control effort needed to accomplish this steering; these bounds may be of independent interest in the context of motion planning and deterministic optimal control.

GPT-3等模型的零和少量提示的最新成功导致了NLP研究的范式转移。在本文中，我们研究了其对文本摘要的影响，重点是新闻摘要的经典基准领域。首先，我们研究了零击GPT-3与在大型摘要数据集中训练的微调模型的比较。我们表明，不仅人类压倒性地更喜欢GPT-3摘要，而且这些摘要也不遭受普通数据集特异性问题（例如事实差的问题）。接下来，我们研究这对评估意味着什么，尤其是黄金标准测试集的作用。我们的实验表明，基于参考和无参考的自动指标，例如最近提出的基于质量检查或基于质量的事实方法无法可靠地评估零击摘要。最后，我们讨论了未来的研究挑战，除了通用摘要之外，特别是基于关键字和方面的摘要，表明了优势微调方法与零拍的提示相比如何。为了支持进一步的研究，我们发布：（a）在4个标准摘要基准中，从微调和零摄像模型中产生的10K生成的摘要，（b）1K人类偏好判断和比较不同系统的普通系统，以进行通用和关键字的不同系统。基于摘要。

最近，随着Covid-19感染的快速激增，肺部超声已成为一种快速而强大的诊断工具，尤其是用于连续且定期监测肺部的工具。有许多尝试对肺部关键地标进行严重性分类，细分和检测。为了利用进度，这项工作中介绍了自动化的肺超声视频分析软件包，可以提供视频中的关键框架，标记带有肺部感染的关键框架以及自动检测和分割肺部标志的选项。集成的软件包将作为开源Web应用程序实现，并在链接https://github.com/anitoanto/alus-package中提供。

紧固件在确保机械的各个部位方面起着至关重要的作用。紧固件表面的凹痕，裂缝和划痕等变形是由材料特性和生产过程中设备的错误处理引起的。结果，需要质量控制以确保安全可靠的操作。现有的缺陷检查方法依赖于手动检查，该检查消耗了大量时间，金钱和其他资源；同样，由于人为错误，无法保证准确性。自动缺陷检测系统已证明对缺陷分析的手动检查技术有影响。但是，诸如卷积神经网络（CNN）和基于深度学习的方法之类的计算技术是进化方法。通过仔细选择设计参数值，可以实现CNN的全部电势。使用基于Taguchi的实验和分析设计，已经尝试在本研究中开发强大的自动系统。用于训练系统的数据集是为具有两个标记类别的M14尺寸螺母手动创建的：有缺陷且无缺陷。数据集中共有264张图像。所提出的顺序CNN的验证精度为96.3％，在0.001学习率下的验证损失为0.277。

在医学科学中，在不同疾病上收集多个数据非常重要，并且数据最重要的目标是调查疾病。心肌梗死是死亡率的严重危险因素，并且在以往的研究中，主要重点是通过人口统计学特征，超声心动图和心电图测量心肌梗死的可能性。相反，本研究的目的是利用数据分析算法，并比较他们的心脏病发作患者的准确性，以便通过考虑到应急行动并因此预测心肌梗死期间心肌梗死期间的心肌强度。为此目的，通过数据分析的分类技术收集和研究，包括随机的分类技术，包括随机的分类技术来收集和研究，包括年龄，紧急操作时间，肌酸磷酸氨基酶（CPK）试验，心率，血糖和静脉的105名心肌梗死患者。决策林，决策树，支持向量机（SVM），k离邻居和序数逻辑回归。最后，在平均评估指标方面，选择了精度为76％的随机决定林的模型作为最佳模型。此外，肌酸磷酸氨基酶试验，尿素，白色和红细胞计数，血糖，时间和血红蛋白的七种特征被鉴定为喷射分数变量的最有效特征。

由于大尺寸的翻译引擎以及培训客户端和中央服务器所需的多轮更新，联邦学习（FL）设置中的培训神经机翻译（FL）设置中的型号可能效率低下。在本文中，我们探索如何通过提出新颖的解决方案来有效地在FL设置中建立NMT模型。为了减少通信开销，从所有神经层中都只能交换我们术语“控制器”层。控制器是与我们预先训练的架构连接的少量额外的神经组件。这些新组件位于原始层之间。它们充当联络员与中央服务器沟通，并学习足以更新客户端的最小信息。我们在不同域的五个数据集中评估了我们模型的性能，从德语转换为英语。我们指出，配备控制器的型号预制地与中央和非FL设置训练的那些。此外，我们观察到FL管道的通信流量大幅减少，这是使用控制器的直接后果。基于我们的实验，基于控制器的模型比其他同行更便宜〜6倍。当我们考虑大型型号中的参数数量时，这种减少显着重要，并且当需要在FL设置中的多个轮时更换这些参数时变得更加重要。

现有的抽象摘要模型缺乏明确的控制机制，允许用户影响模型输出的风格特征。这导致生成不迎合用户需求或偏好的通用摘要。为了解决这个问题，我们介绍了Hydrasum，这是一种新的摘要架构，其扩展了当前模型的单个解码器框架，例如， BART，到专家的混合版本，包括多个解码器。我们拟议的模型鼓励每个专家，即解码器，沿着尺寸学习和生成风格不同的摘要，例如抽象，长度，特异性等。在每个时间步骤中，Hydrasum采用一个门控机制，该机构决定每个单独解码器对下一个令牌的输出概率分布的贡献。通过对三个摘要数据集的实验（CNN，新闻编辑室，XSUM），我们证明了这种门控机制自动学习在标准培训目标下将对比摘要样式分配给不同的水路解码器，而无需额外监督。我们进一步表明，培训过程的指导版本可以明确地管理哪些摘要样式在解码器之间分区，例如，高抽象力与低吸引力或高特异性与低特异性，并且还增加各个解码器之间的致命差异。最后，我们的实验表明，我们的解码器框架非常灵活：在推理期间，我们可以从单独的解码器或解码器的不同子集的混合物中进行采样，以产生多种摘要，并强制对摘要生成的单一和多样式控制。

Pennylane是用于量子计算机可区分编程的Python 3软件框架。该库为近期量子计算设备提供了统一的体系结构，支持量子和连续变化的范例。 Pennylane的核心特征是能够以与经典技术（例如反向传播）兼容的方式来计算变异量子电路的梯度。因此，Pennylane扩展了在优化和机器学习中常见的自动分化算法，以包括量子和混合计算。插件系统使该框架与任何基于门的量子模拟器或硬件兼容。我们为硬件提供商提供插件，包括Xanadu Cloud，Amazon Braket和IBM Quantum，允许Pennylane优化在公开访问的量子设备上运行。在古典方面，Pennylane与加速的机器学习库（例如Tensorflow，Pytorch，Jax和Autograd）接口。 Pennylane可用于优化变分的量子本素体，量子近似优化，量子机学习模型和许多其他应用。